Fast strategies for multi-temporal speckle reduction of Sentinel-1 GRD images

Reducing speckle and limiting the variations of the physical parameters in Synthetic Aperture Radar (SAR) images is often a key-step to fully exploit the potential of such data. Nowadays, deep learning approaches produce state of the art results in single-image SAR restoration. Nevertheless, huge multi-temporal stacks are now often available and could be efficiently exploited to further improve image quality. This paper explores two fast strategies employing a single-image despeckling algorithm, namely SAR2SAR, in a multi-temporal framework. The first one is based on Quegan filter and replaces the local reflectivity pre-estimation by SAR2SAR. The second one uses SAR2SAR to suppress speckle from a ratio image encoding the multi-temporal information under the form of a "super-image", i.e. the temporal arithmetic mean of a time series. Experimental results on Sentinel-1 GRD data show that these two multi-temporal strategies provide improved filtering results while adding a limited computational cost

Image Restoration for Remote Sensing: Overview and Toolbox

Remote sensing provides valuable information about objects or areas from a distance in either active (e.g., RADAR and LiDAR) or passive (e.g., multispectral and hyperspectral) modes. The quality of data acquired by remotely sensed imaging sensors (both active and passive) is often degraded by a variety of noise types and artifacts. Image restoration, which is a vibrant field of research in the remote sensing community, is the task of recovering the true unknown image from the degraded observed image. Each imaging sensor induces unique noise types and artifacts into the observed image. This fact has led to the expansion of restoration techniques in different paths according to each sensor type. This review paper brings together the advances of image restoration techniques with particular focuses on synthetic aperture radar and hyperspectral images as the most active sub-fields of image restoration in the remote sensing community. We, therefore, provide a comprehensive, discipline-specific starting point for researchers at different levels (i.e., students, researchers, and senior researchers) willing to investigate the vibrant topic of data restoration by supplying sufficient detail and references. Additionally, this review paper accompanies a toolbox to provide a platform to encourage interested students and researchers in the field to further explore the restoration techniques and fast-forward the community. The toolboxes are provided in https://github.com/ImageRestorationToolbox.Comment: This paper is under review in GRS

Multi-temporal speckle reduction with self-supervised deep neural networks

Speckle filtering is generally a prerequisite to the analysis of synthetic aperture radar (SAR) images. Tremendous progress has been achieved in the domain of single-image despeckling. Latest techniques rely on deep neural networks to restore the various structures and textures peculiar to SAR images. The availability of time series of SAR images offers the possibility of improving speckle filtering by combining different speckle realizations over the same area. The supervised training of deep neural networks requires ground-truth speckle-free images. Such images can only be obtained indirectly through some form of averaging, by spatial or temporal integration, and are imperfect. Given the potential of very high quality restoration reachable by multi-temporal speckle filtering, the limitations of ground-truth images need to be circumvented. We extend a recent self-supervised training strategy for single-look complex SAR images, called MERLIN, to the case of multi-temporal filtering. This requires modeling the sources of statistical dependencies in the spatial and temporal dimensions as well as between the real and imaginary components of the complex amplitudes. Quantitative analysis on datasets with simulated speckle indicates a clear improvement of speckle reduction when additional SAR images are included. Our method is then applied to stacks of TerraSAR-X images and shown to outperform competing multi-temporal speckle filtering approaches. The code of the trained models is made freely available on the Gitlab of the IMAGES team of the LTCI Lab, T\'el\'ecom Paris Institut Polytechnique de Paris (https://gitlab.telecom-paris.fr/ring/multi-temporal-merlin/)

Apprentissage profond pour l'imagerie SAR : du débruitage à l'interprétation de scène

Le Radar à Synthèse d’Ouverture (RSO, aussi appelé SAR en anglais) permet d’acquérir des données pour l’observation de la Terre de jour comme de nuit, quelles que soient les conditions météorologiques. Grâce notamment au programme Copernicus de l’Agence Spatiale Européenne nous disposons aujourd’hui d’un grand nombre de données distribuées librement. Cependant, l’exploitation de données satellitaires radar est limitée par la présence de très fortes fluctuations du signal rétrodiffusé par la scène imagée. En effet, les images SAR sont entachées par un phénomène intrinsèque aux systèmes d’imagerie cohérente : le chatoiement, communément appelé speckle. Dans cette thèse, nous visons à faciliter l’interprétation des images SAR grâce au développement de techniques de réduction de speckle. Les approches existantes reposent sur le modèle de Goodman, décrivant le speckle comme un bruit multiplicatif et spatialement non corrélé. Dans le domaine de la vision par ordinateur, les méthodes de débruitage s’appuyant sur un réseau neuronal convolutif (approches d’apprentissage profond) ont permis des grandes avancées et représentent aujourd’hui l’état de l’art. Nous proposons donc d’utiliser les techniques de débruitage basées sur les algorithmes d’apprentissage profond pour la réduction de speckle dans les images SAR (méthodes de despeckling). Premièrement, nous étudions l’adaptation des techniques dites supervisées, c.à.d. visant à minimiser l’écart, selon un certain critère, entre l’estimation fournie par le réseau et une image de référence, dite vérité terrain. Nous proposons la création d’une base de données d’images de référence en moyennant des piles d’images multi-temporelles acquises sur la même zone. Des paires d’images pour entraîner un réseau peuvent être générées en synthétisant du speckle selon le modèle de Goodman. Cependant, dans les images réelles le speckle est spatialement corrélé. La corrélation peut être typiquement réduite par un sous-échantillonnage d’un facteur 2, mais cela engendre une perte de résolution. Au vu des limites des approches supervisées, inspirés par la méthode auto-supervisée noise2noise, nous proposons d’apprendre un réseau directement sur des données réelles. Le principe des méthodes de débruitage auto-supervisées est le suivant : si un signal contient une composante déterministe et une composante aléatoire, un réseau entraîné à prédire une nouvelle réalisation de ce signal à partir d’une première réalisation indépendante ne pourra prédire que la composante déterministe, c.à.d. la scène sous-jacente, supprimant ainsi le speckle. Dans la méthode que nous développons, SAR2SAR, nous utilisons des séries multi-temporelles sous hypothèse de speckle temporellement décorrélé pour obtenir des réalisations indépendantes. Les changements sont compensés en recourant à une stratégie d’entraînement itérative. Le réseau SAR2SAR est donc entraîné sur des images dont le speckle est corrélé spatialement et peut être par conséquent appliqué directement sur les images radar, donnant des performances de très bonne qualité en termes de préservation de la résolution spatiale. L’apprentissage de SAR2SAR reste cependant lourd : la stratégie se déroule en plusieurs étapes pour compenser les changements et un jeu de données contenant des piles d’images doit être constitué. Avec l’approche MERLIN, nous relâchons ces contraintes en proposant une méthode d’apprentissage auto-supervisée mono-image. En effet dans les images SAR complexes, les partie réelles et imaginaires sont mutuellement indépendantes et elles peuvent être naturellement utilisées pour apprendre un réseau de manière auto-supervisée. Nous montrons la simplicité de mise en œuvre d’un tel cadre en entraînant un réseau pour trois modalités d’acquisitions, présentant des différences en termes de résolution spatiale, de textures et de corrélation spatiale du speckle. Dans un souci de science ouverte, le code associé aux méthodes développées est disponible en accès libre.Synthetic Aperture Radars (SARs) can collect data for Earth Observation purposes regardless of the daylight or cloud cover. Nowadays, thanks to the Copernicus program of the European Space Agency, a huge amount of SAR data is freely available. However, the exploitation of satellite SAR images is limited by the presence of strong fluctuations in the backscattered signal. Indeed, SAR images are corrupted by speckle, a phenomenon inherent to coherent imaging systems. In this Ph.D thesis, we aim to improve the interpretation of SAR images by resorting to speckle reduction techniques. Existing approaches are based on Goodman’s model, which describes the speckle component as a spatially uncorrelated multiplicative noise. In the computer vision field, denoising methods relying on Convolutional Neural Networks (deep learning approaches) have led to great improvements and provide nowadays state-of-the-art results. We propose to use deep learning-based denoising techniques to reduce speckle from SAR images (despeckling methods). At first, we study the adaptation of supervised techniques that minimize a certain distance between the estimation provided by the CNN and a reference image, also called “groundtruth”. We propose to create a dataset of reference images by averaging multi-temporal images acquired over the same area. Pairs of reference and corrupted images can be generated by synthetizing speckle following Goodman’s model. However, in real images the speckle component is spatially correlated which typically requires subsampling these images by a factor 2 to reduce the spatial correlations, which also degrades the spatial resolution. Given the limits of supervised approaches and inspired by noise2noise, a self-supervised denoising method, we propose to train our networks directly on actual SAR images. The principle of self-supervised denoising methods is the following: if a signal contains a deterministic component and a random component, then a network trained to predict a new signal realization from a first independent signal realization will only predict the deterministic component, i.e., the underlying scene, thereby suppressing the speckle. In the method we have developed, SAR2SAR, we leverage multi-temporal SAR series to obtain independent realizations of the same scene, under the hypothesis of temporally decorrelated speckle. Changes are compensated by devising an iterative training strategy. SAR2SAR is thus trained directly on images with spatially correlated speckle and can readily be applied on SAR images without subsampling, providing high-quality results. The training of SAR2SAR is quite heavy: it is articulated in several steps to compensate changes and a dataset comprising stacks of images must be built. With our approach “MERLIN”, we alleviate the training by proposing a single-image learning strategy. Indeed, in single-look-complex SAR images, real and imaginary parts are mutually independent and can benaturally exploited to train CNNs with self-supervision. We show the potential of this training framework for three imaging modalities, different in terms of spatial resolution, textures, and speckle spatial correlation. For the sake of open science, the code associated to each algorithm developed is made freely available

Apprentissage profond pour l'imagerie SAR : du débruitage à l'interprétation de scène

Synthetic Aperture Radars (SARs) can collect data for Earth Observation purposes regardless of the daylight or cloud cover. Nowadays, thanks to the Copernicus program of the European Space Agency, a huge amount of SAR data is freely available. However, the exploitation of satellite SAR images is limited by the presence of strong fluctuations in the backscattered signal. Indeed, SAR images are corrupted by speckle, a phenomenon inherent to coherent imaging systems. In this Ph.D thesis, we aim to improve the interpretation of SAR images by resorting to speckle reduction techniques. Existing approaches are based on Goodman’s model, which describes the speckle component as a spatially uncorrelated multiplicative noise. In the computer vision field, denoising methods relying on Convolutional Neural Networks (deep learning approaches) have led to great improvements and provide nowadays state-of-the-art results. We propose to use deep learning-based denoising techniques to reduce speckle from SAR images (despeckling methods). At first, we study the adaptation of supervised techniques that minimize a certain distance between the estimation provided by the CNN and a reference image, also called “groundtruth”. We propose to create a dataset of reference images by averaging multi-temporal images acquired over the same area. Pairs of reference and corrupted images can be generated by synthetizing speckle following Goodman’s model. However, in real images the speckle component is spatially correlated which typically requires subsampling these images by a factor 2 to reduce the spatial correlations, which also degrades the spatial resolution. Given the limits of supervised approaches and inspired by noise2noise, a self-supervised denoising method, we propose to train our networks directly on actual SAR images. The principle of self-supervised denoising methods is the following: if a signal contains a deterministic component and a random component, then a network trained to predict a new signal realization from a first independent signal realization will only predict the deterministic component, i.e., the underlying scene, thereby suppressing the speckle. In the method we have developed, SAR2SAR, we leverage multi-temporal SAR series to obtain independent realizations of the same scene, under the hypothesis of temporally decorrelated speckle. Changes are compensated by devising an iterative training strategy. SAR2SAR is thus trained directly on images with spatially correlated speckle and can readily be applied on SAR images without subsampling, providing high-quality results. The training of SAR2SAR is quite heavy: it is articulated in several steps to compensate changes and a dataset comprising stacks of images must be built. With our approach “MERLIN”, we alleviate the training by proposing a single-image learning strategy. Indeed, in single-look-complex SAR images, real and imaginary parts are mutually independent and can benaturally exploited to train CNNs with self-supervision. We show the potential of this training framework for three imaging modalities, different in terms of spatial resolution, textures, and speckle spatial correlation. For the sake of open science, the code associated to each algorithm developed is made freely available.Le Radar à Synthèse d’Ouverture (RSO, aussi appelé SAR en anglais) permet d’acquérir des données pour l’observation de la Terre de jour comme de nuit, quelles que soient les conditions météorologiques. Grâce notamment au programme Copernicus de l’Agence Spatiale Européenne nous disposons aujourd’hui d’un grand nombre de données distribuées librement. Cependant, l’exploitation de données satellitaires radar est limitée par la présence de très fortes fluctuations du signal rétrodiffusé par la scène imagée. En effet, les images SAR sont entachées par un phénomène intrinsèque aux systèmes d’imagerie cohérente : le chatoiement, communément appelé speckle. Dans cette thèse, nous visons à faciliter l’interprétation des images SAR grâce au développement de techniques de réduction de speckle. Les approches existantes reposent sur le modèle de Goodman, décrivant le speckle comme un bruit multiplicatif et spatialement non corrélé. Dans le domaine de la vision par ordinateur, les méthodes de débruitage s’appuyant sur un réseau neuronal convolutif (approches d’apprentissage profond) ont permis des grandes avancées et représentent aujourd’hui l’état de l’art. Nous proposons donc d’utiliser les techniques de débruitage basées sur les algorithmes d’apprentissage profond pour la réduction de speckle dans les images SAR (méthodes de despeckling). Premièrement, nous étudions l’adaptation des techniques dites supervisées, c.à.d. visant à minimiser l’écart, selon un certain critère, entre l’estimation fournie par le réseau et une image de référence, dite vérité terrain. Nous proposons la création d’une base de données d’images de référence en moyennant des piles d’images multi-temporelles acquises sur la même zone. Des paires d’images pour entraîner un réseau peuvent être générées en synthétisant du speckle selon le modèle de Goodman. Cependant, dans les images réelles le speckle est spatialement corrélé. La corrélation peut être typiquement réduite par un sous-échantillonnage d’un facteur 2, mais cela engendre une perte de résolution. Au vu des limites des approches supervisées, inspirés par la méthode auto-supervisée noise2noise, nous proposons d’apprendre un réseau directement sur des données réelles. Le principe des méthodes de débruitage auto-supervisées est le suivant : si un signal contient une composante déterministe et une composante aléatoire, un réseau entraîné à prédire une nouvelle réalisation de ce signal à partir d’une première réalisation indépendante ne pourra prédire que la composante déterministe, c.à.d. la scène sous-jacente, supprimant ainsi le speckle. Dans la méthode que nous développons, SAR2SAR, nous utilisons des séries multi-temporelles sous hypothèse de speckle temporellement décorrélé pour obtenir des réalisations indépendantes. Les changements sont compensés en recourant à une stratégie d’entraînement itérative. Le réseau SAR2SAR est donc entraîné sur des images dont le speckle est corrélé spatialement et peut être par conséquent appliqué directement sur les images radar, donnant des performances de très bonne qualité en termes de préservation de la résolution spatiale. L’apprentissage de SAR2SAR reste cependant lourd : la stratégie se déroule en plusieurs étapes pour compenser les changements et un jeu de données contenant des piles d’images doit être constitué. Avec l’approche MERLIN, nous relâchons ces contraintes en proposant une méthode d’apprentissage auto-supervisée mono-image. En effet dans les images SAR complexes, les partie réelles et imaginaires sont mutuellement indépendantes et elles peuvent être naturellement utilisées pour apprendre un réseau de manière auto-supervisée. Nous montrons la simplicité de mise en œuvre d’un tel cadre en entraînant un réseau pour trois modalités d’acquisitions, présentant des différences en termes de résolution spatiale, de textures et de corrélation spatiale du speckle. Dans un souci de science ouverte, le code associé aux méthodes développées est disponible en accès libre

A review of deep-learning techniques for SAR image restoration

International audienceThe speckle phenomenon remains a major hurdle for the analysis of SAR images. The development of speckle reduction methods closely follows methodological progress in the field of image restoration. The advent of deep neural networks has offered new ways to tackle this longstanding problem. Deep learning for speckle reduction is a very active research topic and already shows restoration performances that exceed that of the previous generations of methods based on the concepts of patches, sparsity, wavelet transform or total variation minimization. The objective of this paper is to give an overview of the most recent works and point the main research directions and current challenges of deep learning for SAR image restoration

SAR2SAR: a semi-supervised despeckling algorithm for SAR images

Article accepted for publication to IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. Code is made available at https://gitlab.telecom-paris.fr/RING/SAR2SARInternational audienceSpeckle reduction is a key step in many remote sensing applications. By strongly affecting synthetic aperture radar (SAR) images, it makes them difficult to analyse. Due to the difficulty to model the spatial correlation of speckle, a deep learning algorithm with self-supervision is proposed in this paper: SAR2SAR. Multi-temporal time series are leveraged and the neural network learns to restore SAR images by only looking at noisy acquisitions. To this purpose, the recently proposed noise2noise framework has been employed. The strategy to adapt it to SAR despeckling is presented, based on a compensation of temporal changes and a loss function adapted to the statistics of speckle. A study with synthetic speckle noise is presented to compare the performances of the proposed method with other state-of-the-art filters. Then, results on real images are discussed, to show the potential of the proposed algorithm. The code is made available to allow testing and reproducible research in this field

Apprentissage autosupervisé pour le despeckling d'images SAR avec MERLIN : application aux images Sentinel-1 Stripmap

International audienceLes fluctuations dues au phénomène de chatoiement sont un frein à l'interprétation des images acquises par un Radar à Synthèse d'Ouverture (RSO, aussi appelé SAR en anglais). Pour faciliter l'utilisation de ces images pour l'observation de la Terre, il est important de réduire le chatoiement. Nous décrivons ici MERLIN, une nouvelle méthode permettant d'entraîner de manière auto-supervisée un réseau neuronal convolutif pour la réduction de chatoiement exploitant la décomposition d'une image SAR complexe en partie réelle et imaginaire. Nous présentons l'adaptation de ce cadre aux images Sentinel-1 acquises en mode Stripmap

How to handle spatial correlations in SAR despeckling? Resampling strategies and deep learning approaches

International audienceSpeckle noise strongly affects Synthetic Aperture Radar (SAR) images, causing strong intensity fluctuations that make them difficult to analyze. Although many speckle reduction algorithms have been proposed, how to effectively deal with the spatial correlations of speckle remains an open question, especially in the most recent deep learning approaches. This paper tries to address this problem. Existing approaches to tackle the speckle correlations are described. Then, a standard training strategy for deep learning is proposed. Two models are trained and the increased robustness brought by including a Total Variation (TV) term in the loss function is analyzed on Sentinel-1 images

As if by magic: self-supervised training of deep despeckling networks with MERLIN

International audienc